『24時間365日動き続けるデータシステムの設計手法 : 「データ指向アプリケーションデザイン」実践編』
2023-10-14
24時間365日動き続けるデータシステムの設計手法 : 「データ指向アプリケーションデザイン」実践編 - Speaker Deck
テキストデータフォーマット
テキストエディタでも記述できるもの
JSON
CSV
XML
バイナリデータフォーマット
Apache Avro
MessagePack
Protocol Buffers
Protocol Buffers
行指向(row-oriented)フォーマット
RDBMSデータベース
列指向データフォーマット
キャッシュに乗りやすく高速
SIMD
演算も活用しやすい
データの更新は大変
列指向データフォーマットは圧縮が効く
Apache Parquet
データ指向アプリケーション
LSM-Tree
(Log Structured Merge Tree)
LevelDB
RocksDB
AWS S3
Apache Iceberg
UUIDv7
分散処理
分散データ処理
関連
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
#slideshare
#文献